AI 可靠性

共 2 篇文章

• Token 成本控制：从账单震惊到精准预算的三层防线 2026/9/28

  用语义缓存、分级路由和预算管控三层防线，把 LLM Token 成本降低 40-70%。包含各模型定价对比、缓存命中率分析、以及可直接集成的 Python 成本控制模块。

  #成本控制#Token#缓存#FinOps#Python

• 给 LLM 调用加上监控：Token 用量、延迟、错误率一目了然 2026/9/7

  用 LangChain 回调机制给 AI Agent 加上可观测性——从运维视角监控每次 LLM 调用的 Token 消耗、延迟、错误率和成本，产出可接入 Prometheus/Grafana 的指标数据。

  #可观测性#LangChain#Agent#监控#Python